Cognitive Biases in Screening Processes – Search Strategies in Educational Technology Research: A Systematic Review on Learning with Virtual Reality

Ziel dieser Studie ist es, die Vor- und Nachteile verschiedener Suchstrategien bei der Synthese von Forschungsarbeiten, die die Bildungstechnologie der virtuellen Realität (VR) nutzen, empirisch zu untersuchen. Hierbei ist das Ziel, kognitive Verzerrungen seitens der Reviewer:innen durch verschieden konkrete Suchen zu identifizieren. Mittels zweier Suchstrategien sollen die Extrema zwischen einer Suche (AND), die möglichst wenig irrelevante Studien findet, aber dafür auch relevante übersieht und einer Suche (OR), die möglichst breit sucht, aber hierbei viele irrelevante aufnimmt, dargestellt werden. Die Studie will aufzeigen, wie systematische Suchen in der Bildungsforschung gestaltet sein sollten, um die typischen Herausforderungen systematischer Analysen (z.B. Recall-Precision-Problem, kognitive Belastung) adäquat zu berücksichtigen. Die Suchstrategien wurden auf der Grundlage einer vorangegangenen Google Scholar-Suche nach bereits durchgeführten systematischen Übersichten zur VR entwickelt. Hierbei unterschieden sich die zwei verschiedenen Suchstrategien nur in Bezug auf ihre Verknüpfung zwischen einem technologischem (VR) und einem pädagogischen Suchterm. Die beiden Elemente wurden entweder mit einer AND oder einer OR Verbindung verknüpft. Die Suchbeitrage wurden in einem Kreuzdesign von zwei Personen gescreent und in Bezug auf verschiedene Präzisions- und Recallmaße evaluiert. Es fanden sich keine Hinweise dafür, dass die umfangreichere Suche (OR) der engeren Suche (AND) überlegen ist und jedoch leichte Hinweise auf kognitive Verzerrungen im Screening bzw. Suchprozess bei der umfangreicheren Suche (OR). Diese sollten in weiteren Studien weiter evaluiert, untersucht und vor allem repliziert werden.The aim of this article is to empirically investigate the advantages and disadvantages of different search strategies in synthesizing research papers that use Virtual Reality (VR) educational technology. The aim is to identify cognitive biases on the part of the reviewers through different concrete searches. Using two search strategies, the study identifies the extremes between an AND search that finds as few irrelevant studies as possible but overlooks relevant ones, and an OR search that searches as broadly as possible but picks up many irrelevant studies. The article aims to show how systematic searches in educational research should be designed to adequately address the typical challenges of systematic analyses (e.g., recall-precision problem, cognitive load). The search strategies were developed based on a Google Scholar search for existing systematic reviews on VR. Here, the two search strategies differed only in terms of their linkage between a technological (VR) and a pedagogical search term. The two elements were linked with either an AND or an OR. The search items were screened in a two-person cross design and evaluated on different measures of precision and recall. There was no evidence that the more comprehensive search (OR) is superior to the narrower search (AND), but slight evidence of cognitive biases in the screening or search process in the more comprehensive search (OR). These results should be further evaluated, investigated, and, above all, replicated in further studies

Invisible borders in educational technology research? A comparative analysis

Educational research is refective of the nature and structure of national and regional education systems and their historical evolution. Educational technology research, as an area within educational research, refects this case particularly prominently. Although individual countries and regions have varying research traditions, the publication of research in English as the scientifc lingua franca can lead to missing nuances in terminology, which is often not refected upon. Despite this, the exploration of research from diferent countries can still uncover diverse topical clusters. This study aims to identify the research topics in educational technology research in three countries (Germany, Spain and the United Kingdom), each with their own research traditions, through the terms used. To this end, a bibliometric analysis of 3034 article abstracts and keywords from 29 English-language Web of Science journals in the feld of education and educational research was conducted, with a focus on educational technology. In addition, the quantitative fndings are comparatively analysed by considering the corresponding cultural clusters. Main fndings include diverse research foci in the three countries, also showing that distinct research traditions are still present, despite using English as lingua franca. Therefore, research articles written in English by non-English authors often do not refect the same meanings in each country, despite using the same words. The conclusions refect upon the need to establish ways of understanding the traditions behind those research articles and build collaborative systems to illustrate nuances in this research.Victoria I. Marín acknowledges the support of the Grant RYC2019-028398-I funded by MCIN/AEI/ https://doi.org/10.13039/501100011033 and FSE “El FSE invierte en tu futuro”

Verstetigung der Produkte aus Förderprojekten. Empirische Untersuchung von Gelingensbedingungen und Hinderungsgründen. Ein Dossier im Rahmen des Innovationswettbewerbs INVITE

Dieses Dossier gibt einen Einblick, wie Ergebnisse aus Förderprojekten in die Breite getragen bzw. nach Ablauf der Förderdauer weitergenutzt werden können. Dazu werden zunächst mit diesem Prozess in Verbindung gebrachte Begrifflichkeiten, wie Verstetigung, Transfer, Dissemination oder Nachhaltigkeit, dargestellt. Anschließend geht es um die Frage welche Faktoren, die Verstetigungsprozesse positiv sowie negativ beeinflussen. Dafür werden Ergebnisse einer Literaturrecherche und einer Diskussion mit Expert_innen dargestellt. Im Fokus dieser Publikation stehen die Ergebnisse einer Online-Befragung. Sie zeigen, welche Relevanz bestimmte Faktoren für die Verstetigung haben, inwieweit die unterschiedlichen Perspektiven der befragten Personengruppen Einfluss auf die Sichtweise der Verstetigung nehmen und ob sich Unterschiede je nach betrachteter Produktform (Software, Lehr-/Lernmaterial, Wissen und Konzepte für Wissenschaft bzw. Praxis) ergeben. Eine Diskussion und Gesamtbetrachtung der Ergebnisse sowie ein Fazit runden die Ausführungen ab. (DIPF/Orig.

Recommendersysteme in der beruflichen Weiterbildung. Grundlagen, Herausforderungen und Handlungsempfehlungen. Ein Dossier im Rahmen des INVITE-Wettbewerbs

Das vorliegende Dossier erläutert zunächst, was Recommendersysteme sind und wie sie technisch umgesetzt werden. Nachfolgend wird aufgezeigt, zu welchem Zweck Recommendersysteme beim technologiegestützten Lernen eingesetzt werden – sowohl im Bildungsbereich allgemein als auch speziell in der beruflichen Weiterbildung. Der größere Teil dieses Dossiers widmet sich anschließend spezifischen Herausforderungen der Entwicklung und Implementierung konkreter Recommendersysteme auf digitalen Weiterbildungsplattformen. Dabei werden basierend auf der bestehenden Literatur und Aussagen von Expert_innen Handlungsempfehlungen aufgeführt. Insgesamt soll das vorliegende Dossier damit den Einsatz von Recommendersystemen in der beruflichen Aus- und Weiterbildung sowohl aus technischer als auch didaktischer Perspektive beleuchten. (DIPF/Orig.

Student Engagement und digitales Lernen. Kontextuelle Validierung eines Systematic Review mit E-Learning-Akteuren an Hochschulen

Systematic Reviews und Metaanalysen gewinnen in den Bildungswissenschaften zunehmend an Bedeutung. Mit dieser Entwicklung einher geht die Frage nach der Allgemeingültigkeit der Ergebnisse. Ein Grund hierfür kann ein wechselseitiger Scientist-Practitioner Gap sein. In dieser Studie stellen die Autorinnen und Autoren die Ergebnisse einer kontextuellen Validierung mit E-Learning-Akteuren aus den Bildungswissenschaften vor. Mit diesen wurden in einem Onlinefragebogen die Ergebnisse aus einem Systematic Review validiert. Das Systematic Review ging der Frage nach, inwieweit der Einsatz von Lerntechnologien das Student Engagement in bildungswissenschaftlichen Studienangeboten an Hochschulen beeinflusst. Die kontextuelle Validierung zeigt deutliche Unterschiede im Grad der Zustimmung. Bildungswissenschaftliche Erkenntnisse und Aussagen in Bezug auf die Medienkompetenz erlangen deutlich höhere Zustimmungswerte als Items im Bereich der Lerntechnologie selbst. Die Ergebnisse werden diskutiert. (DIPF/Orig.

Digitalisierung in der Erwachsenenbildung

Aus dem Inhalt: Digitalisierung in der Erwachsenenbildung - zur Einleitung in den Themenschwerpunkt; Erwachsenenbildung in der digitalen Welt: Handlungsebenen der digitalen Transformation; Digitalisierung und Mediatisierung in der Erwachsenenbildung/Weiterbildung; Digitale Lernumwelten in produzierenden Betrieben; Zur Modellierung einer Kultur der Digitalität; Bildungsberatung in Beschäftigung und Weiterbildung im Kontext der Digitalisierung; Best-practice-Beispiele für digitale Weiterbildungsangebote

Recommender in AI-enhanced Learning: An Assessment from the Perspective of Instructional Design

As tools for AI-enhanced human learning, recommender systems support learners in finding materials and sequencing learning paths. The paper explores how these recommenders improve the learning experience from a perspective of instructional design. It analyzes mechanisms underlying current recommender systems, and it derives concrete examples of how they operate: Recommenders are either expert-, criteria-, behavior-, or profile-based or rely on social comparisons. To verify this classification of five different mechanisms, we analyze a set of current publications on recommenders and find all the identified mechanisms with profile-based approaches as the most common. Social recommenders, though highly attractive in other sectors, reveal some drawbacks in the context of learning. In comparison, expert-based recommendations are easy to implement and often stand out as simple but effective ways for suggesting learning materials and learning paths to learners. They can be combined with other approaches based on social comparisons and individual profiles. The paper points out challenges in studying recommenders for learning and provides suggestions for future research

Psychological tests from a (fuzzy-)logical point of view

Psychometric theory relies on two basic assumptions: (a) psychological constructs refer to latent (unobservable) variables and (b) psychological tests serve as a way to measure these constructs. This view is complemented by an alternative interpretation of psychological constructs, which neither relies on latent variables nor on the concept of measurement. Using the formal apparatus of many-valued logic, psychological constructs are re-interpreted as linguistic concepts (rather than latent variables), which can be inferred by means of logical calculus (as opposed to measurement). Thus, test scores do not refer to the values of latent variables, but to the degree to which the necessary and sufficient conditions for the ascription of a construct are fulfilled. Following this rationale, a formal theory of psychological tests is developed, which models the process of testing as logical inference. Applying the derived procedures, a person’s testing behaviour yields the degree to which a construct describes her adequately

The impact of augmented reality on cognitive load and performance: A systematic review

Hintergrund Frühere Studien zu Augmented Reality-angereichertem Lernen und Training zeigten widersprüchliche Ergebnisse in Bezug auf die kognitive Belastung: Einige Autoren berichten, dass AR die kognitive Belastung reduzieren kann, andere haben gezeigt, dass AR als kognitiv anspruchsvoll wahrgenommen wird und zu schlechteren Leistungen führen kann. Ziele Ziel dieser Studie ist es, bisherige Forschungen zu AR und kognitiver Belastung einschließlich der Leistung systematisch zu analysieren und so zur Beantwortung der Frage nach dem Einfluss von AR auf die kognitive Belastung beim Einsatz in Lernumgebungen beitragen zu können. Methodik In dieser Studie wurde die systematische Review-Methode angewendet. Insgesamt wurden 58 Studien identifiziert und anhand streng definierter Ein- und Ausschlusskriterien analysiert. Die Ergebnisse werden nun als Synthese berichtet. Ergebnisse und Schlussfolgerungen Im Vergleich zu anderen Technologien scheint AR kognitiv weniger anspruchsvoll zu sein und führt auch zu einer höheren Leistung. Diese Ergebnisse basieren jedoch auf Medienvergleichsstudien, die seit Jahren kritisiert werden. Der räumliche AR-Typ ist im Vergleich zur durchsichtigen AR besser. Letzteres kann jedoch durch visuelle Hinweise und die Hinzufügung von Lernaktivitäten, wie wertschöpfende Studien gezeigt haben, verbessert werden. Wichtige Takeaways Die wesentlichen Ergebnisse dieser Studie sind, dass die verwendete Technologie, zum Beispiel AR-Brillen, die kognitive Belastung unnötig erhöhen kann und dass sich immer noch viele Studien auf den Vergleich von AR mit traditionelleren Medien konzentrieren. Weniger Studien verwendeten alternative Forschungsdesigns, zum Beispiel Wertschöpfungsvergleiche. Solche Designs sind jedoch besser geeignet, um Designprinzipien für AR-angereicherte Lernumgebungen zu untersuchen, die dann wiederum die kognitive Belastung reduzieren und die Leistung positiv beeinflussen können. Laienbeschreibung Was zu diesem Thema bereits bekannt ist Augmented Reality kann eine effektive Technologie für Lern- und Trainingszwecke sein. Die Ergebnisse hinsichtlich kognitiver Belastungen in AR-angereicherten Lernumgebungen sind jedoch widersprüchlich. Was dieses Papier hinzufügt AR kann in Bezug auf kognitive Belastung und Leistung im Vergleich zu anderen Medien überlegen sein. Räumliche AR wird im Vergleich zu durchsichtiger AR als kognitiv weniger anspruchsvoll empfunden. Die Wirkung von AR-angereichertem Lernen und Training auf kognitive Belastung und Leistungsfähigkeit ist für den prozeduralen Wissenserwerb deutlicher. Die Forschung zu AR und kognitiver Belastung basiert lediglich auf Medienvergleichsstudien, während wertschöpfende Studien besser zu der Frage beitragen könnten, wie AR für das Lehren und Lernen eingesetzt werden kann. Auswirkungen auf Praxis und/oder Politik AR ist gut geeignet, um den Erwerb und die Aufgaben von prozeduralem Wissen zu unterstützen und zu unterstützen. Derzeit sollte räumliche AR der durchsichtigen AR vorgezogen werden, da See-Through-AR immer noch zu einer hohen kognitiven Belastung führt. Wenn dennoch durchsichtige AR verwendet wird, sollten visuelle Hinweise und Lernaktivitäten als Ergänzung eingesetzt werden, da diese die kognitive Belastung reduzieren und so zu einer besseren Leistung beitragen können